Vào ngày 10 và 11 tháng 5 năm 1937, Hồng quân đã bị lay động bởi một số thay đổi lớn. Nguyên soái Tukhachevsky bị giáng chức vụ phó ủy viên và được cử đến chỉ huy Quân khu Volga vốn ít có tầm quan trọng về quân sự. Đồng thời Yakir cũng được chuyển công tác từ Kiev đến Leningrad. Không giống như Tukhachevsky, nó không phải là một sự hạ cấp rõ ràng. Tukhachevsky đã bị bắt trên đường đến đơn vị vào ngày 22 tháng 5. Khi nghe tin tức này, Yakir đang tham dự một hội nghị tại Quân khu Kiev. Tâm trạng của Yakir thay đổi đáng kể sau đó (bình thường Yakir rất vui vẻ, thân thiện)

Vào ngày 31 tháng 5 năm 1937, Bộ Dân ủy Nội vụ đã bắt Yakir và đưa ông đến nhà tù Lubyanka ở Matxcơva. Ông và bảy chỉ huy quân sự lớn khác (Robert Eideman, Boris Feldman, Avgust Kork, Vitaly Primakov, Vitovt Putna, Mikhail Tukhachevsky và Ieronim Uborevich) bị cáo buộc là thành viên của Tổ chức quân sự chống Liên Xô theo Chủ nghĩa Trotsky và là đại diện của Đức Quốc Xã. Ngoại trừ Boris Feldman, tất cả đều bị tra tấn dã man. Yakir duy trì sự vô tội của mình, và trung thành với Joseph Stalin. Tại phiên tòa mặc dù ông thường thừa nhận tham gia vào một âm mưu, nhưng ông từ chối tội danh là một điệp viên nước ngoài.

Yakir và bảy chỉ huy khác đã bị hành quyết tại Matxcơva,ngay sau phiên tòa vào lúc bình minh ngày 12 tháng 6 năm 1937, Người thực hiện hành quyết của họ là Vasily Blokhin, người thi hành chính của Bộ Dân ủy Nội vụ. Thi thể được hỏa táng tại chỗ, và đống tro tàn được ném vào một ngôi mộ lớn tại Nghĩa trang Donskoye. Các thành viên của gia đình Yakir đã bị xử tử ngay lập tức, như em trai của ông, Moris Emmanuilovich (1902–1937), hoặc gửi đến trại lao động Gulag: Em gái của Yakir, Isabella Emmanuilovna (1900–1986) phục vụ ở đó 10 năm trong khi vợ ông, Sarra Lazarevna (1900–1971) và đứa con trai 14 tuổi của ông, Pyotr Ionovich (1923–1982), đã trải qua gần 20 năm ở đó. Các tác phẩm quân sự của Yakir bị cấm.